ブラックボックスにサヨナラ!Azure Application Insightsを連携してエラーログを可視化する方法
R.I
目次
- 著者: アドバンスド・ソリューション株式会社 技術研究チーム
- 対象読者: 社内SE、クラウドアーキテクト、情シス運用保守担当者
1. はじめに:Copilot Studioの「なぜ落ちたか分からない」を撲滅する
Copilot Studioで運用を始めた情シス担当者が、運用フェーズで最も苦しむのが「ログのブラックボックス問題」です。
エンドユーザーから「AIボットに質問したらエラーになった」「昨日は答えられたのに今日は違うことを言っている」と問い合わせが来ても、Copilot Studioの標準アナリティクス画面(Analytics)には、セッション数や解決率といった集計値が表示されるだけです。
- ユーザーが具体的に何と入力したのか?
- どのトピックが呼び出され、どのノードで例外が発生したのか?
- 検索のレスポンスタイムは何ミリ秒だったのか?
これらを個別に追跡するのは標準画面では困難です。トラブルシューティングのためにユーザーに「どんな質問をしたかスクショをください」と聞き回るのは、運用として現実的ではありません。
この問題を解決するのが、Azure Application Insights(App Insights)との連携です。本記事では、Copilot Studioの会話イベント・例外・レイテンシをAzure上に集約し、KQL(Kusto Query Language)で分析可能にする環境構築手順を解説します。
2. 全体ログアーキテクチャ
Copilot StudioとApplication Insightsを接続すると、会話イベントがTelemetryとしてAzure Monitorへストリーミングされます。
【図の挿入位置(画像待ち):この記事の1つ目の図。画像が届くまで、この行は、そのままにします】
📌 2種類のテレメトリを理解する
Copilot Studio のテレメトリには2つのレベルがあり、出力先テーブルとスキーマが異なります。
| 種類 | 出力先テーブル | 形式 | ステータス |
|---|---|---|---|
| エージェントレベル テレメトリ | customEvents |
Copilot Studio 独自イベント | 一般提供 |
| 環境レベル テレメトリ | dependencies |
OpenTelemetry 形式(gen_ai.* 属性) |
プレビュー(マネージド環境) |
本記事では主にエージェントレベル テレメトリ(customEvents)を扱います。
出典: Microsoft Learn: Application Insights によるエージェントレベルのテレメトリ / Microsoft Learn: 環境レベルのエージェント テレメトリ(プレビュー)
3. ステップバイステップ:Application Insights連携手順
ステップ①:Azure側でApplication Insightsリソースを作成
- Azure Portal にログインし、「Application Insights」を検索して作成。
- 構成情報:
- リソースグループ: 任意の管理用グループ(例:
rg-copilot-governance) - 名前:
appi-copilot-studio-prod - 地域: Japan East(東日本)
- Log Analyticsワークスペース: 既存または新規作成
- リソースグループ: 任意の管理用グループ(例:
- 作成完了後、「概要 (Overview)」ブレードを開き、「接続文字列 (Connection String)」をコピーします。
※ 従来のInstrumentation Keyは非推奨のため、必ずInstrumentationKey=...;IngestionEndpoint=...形式の接続文字列を使用してください。
ステップ②:Copilot Studioに接続文字列を登録
- Copilot Studio ポータル を開く。
- 対象のエージェントを選択し、「設定 (Settings) > 詳細 (Advanced)」 をクリック。
- 「Application Insights」セクションを見つける。
- コピーした接続文字列を貼り付け、「保存 (Save)」 をクリック。
- エージェントを 「発行 (Publish)」 する。
※ UIの配置はアップデートで変わる場合があります。見つからない場合は設定画面内で「Application Insights」を検索してください。
※ テレメトリがAzure側に反映されるまでには初期遅延があります。設定直後にデータが見えなくても、しばらく待ってから再確認してください。
【画像の挿入位置(画像待ち):この記事の2つ目の画像。画像が届くまで、この行は、そのままにします】
▲ 図: Azure PortalのApplication Insights Logsブレード(画面イメージ)。KQLクエリを実行することで、Copilot Studioで発生したイベントやエラーが可視化される。
【仕様準拠・参照元】: Microsoft Learn: Application Insights によるエージェントレベルのテレメトリ のKQLスキーマ仕様に基づく検証イメージ
4. 現場で使えるKQLクエリ集
⚠️ 重要:イベント名は公式スキーマに準拠してください
ネット上のサンプルには
BotErrorやTopicCompletedといったイベント名が見られますが、これらは Copilot Studio の公式スキーマには存在しません。公式に確認できるイベント名(
customEventsのname)TopicStart/TopicEnd/TopicAction/BotMessageReceived/BotMessageSend/GenerativeAnswers/ カスタムテレメトリ
クエリ①:エラーの抽出(公式サンプル準拠)
Copilot Studio ではエラー専用のイベント名は発行されません。公式のサンプルは、BotMessageSend のうち text に “Error code:” を含む行を抽出する方式です。
customEvents
| where timestamp > ago(24h)
| where name == "BotMessageSend"
| extend MessageText = tostring(customDimensions.text)
| where MessageText contains "Error code:"
| extend ConversationId = tostring(customDimensions.conversationId)
| project timestamp, ConversationId, MessageText
| order by timestamp desc
クエリ②:ユーザーの実際の入力プロンプト
customEvents
| where timestamp > ago(7d)
| where name == "BotMessageReceived"
| extend UserInput = tostring(customDimensions.text)
| extend ConversationId = tostring(customDimensions.conversationId)
| project timestamp, ConversationId, UserInput
| order by timestamp desc
クエリ③:トピックの開始・終了の追跡
トピックの完了は TopicEnd(TopicCompleted ではありません)で捕捉します。
customEvents
| where timestamp > ago(7d)
| where name in ("TopicStart", "TopicEnd")
| extend TopicName = tostring(customDimensions.TopicName)
| extend ConversationId = tostring(customDimensions.conversationId)
| project timestamp, name, TopicName, ConversationId
| order by ConversationId, timestamp asc
クエリ④:生成型回答の利用状況
customEvents
| where timestamp > ago(7d)
| where name == "GenerativeAnswers"
| extend ConversationId = tostring(customDimensions.conversationId)
| summarize Count = count() by bin(timestamp, 1d)
| order by timestamp desc
💡 補足: 実際に出力されるカスタムディメンションのキー名は環境・バージョンによって差異がある場合があります。まずは
customEvents | take 10で実データのスキーマを確認してから、クエリを組み立てることを強く推奨します。
参考:環境レベルテレメトリ(プレビュー)を使う場合
マネージド環境で環境レベルテレメトリを有効にしている場合は、dependencies テーブルを参照します。
dependencies
| where timestamp > ago(24h)
| where name in ("InvokeAgent", "ExecuteTool", "OutputMessages")
| project timestamp, name, duration, success, customDimensions
| order by timestamp desc
▼この記事の次に読みたい記事
- 「テスト画面では動くのにTeamsで動かない!」Copilot Studioで誰もが踏む原因とチェックリスト5選
- SharePointのファイルを更新したのにCopilotが古い情報を答える?インデックス更新のタイムラグと運用回避策
5. まとめ&アドバンスド・ソリューションによるご支援
Application Insightsを導入することで、情シスは「ユーザーから報告を受ける前に、エラーの発生と原因を把握して対処する」という運用体制に近づけます。
【無料ダウンロード】【資料名:確定後に入れます】
【資料の1行説明:確定後に入れます】
ただし、KQLを書く前に公式のイベント名スキーマを確認することが重要です。ネット上には存在しないイベント名を使ったサンプルも流通しているため、まずは実データのスキーマ確認から始めてください。
弊社アドバンスド・ソリューションでは、Azure Monitor / App Insightsを活用した「Copilot Studio 統合運用監視ダッシュボード」の設計・構築テンプレートをご提供しております。運用保守に不安を抱える企業様はぜひお問い合わせください。
参考リンク(一次ソース)
記事を検索